In de 11de eeuw stond er reeds op het grondgebied van het huidige kasteel van Zwijnaarde een burcht. In 1345 werd het door Wouter van Zwijnaarde afgestaan aan de Sint-Pietersabdij van Gent.
Het kasteel van Zwijnaarde werd sedert 1420 gebruikt als ceremoniële verblijfplaats voor de graven van Vlaanderen. Sinds 1526 deed het dienst als buitenverblijf van de abt van de Sint-Pietersabdij. In dat jaar overleed in dit kasteel Isabella van Habsburg, de tweede zus van keizer Karel en echtgenote van Christiaan II, koning van Zweden, Noorwegen en Denemarken. Isabella van Habsburg was nauwelijks 25 jaar.
Het imposante middeleeuwse waterkasteel werd vernield tijdens het calvinistische bestuur in Gent tussen 1577 en 1584. In de 17de eeuw heropgebouwd door abt Joachim Schayck. Na de Franse Revolutie, in 1797, werd het door de Fransen openbaar verkocht en komt het in bezit van de familie della Faille d'Huysse die het omstreeks 1836 laat verbouwen in neoclassicistische stijl.
In de Eerste Wereldoorlog werd het kasteel verwoest. In opdracht van de familie della Faille d'Huysse ontwierp de Brusselse architect E. Flaneau, in 1920, het huidige omwalde rococokasteel. Baron Etienne della Faille d’Huysse was gedurende een halve eeuw burgemeester van Zwijnaarde. Hij stierf in 1975. Vandaag is het kasteel van Zwijnaarde een plaats voor seminaries, feesten, presentaties en zakenlunches.